Vào tháng 6 năm 1940, Kaltenbrunner được bổ nhiệm làm Chủ tịch Cảnh sát Vienna và giữ chức vụ bổ sung đó trong một năm. Vào tháng 7 năm 1940, ông được ủy nhiệm làm SS-Untersturmführer trong Khu bảo tồn Waffen-SS. Trong suốt quá trình thực hiện nhiều nhiệm vụ của mình, Kaltenbrunner cũng đã phát triển một mạng lưới tình báo ấn tượng trên khắp Áo di chuyển về phía đông nam, điều này cuối cùng đã đưa anh ta đến sự chú ý của Himmler để được bổ nhiệm làm giám đốc RSHA vào tháng 1 năm 1943. RSHA bao gồm SiPo (Sicherheitspolizei; lực lượng kết hợp của Gestapo và Kripo) cùng với SD (Sicherheitsdienst, Dịch vụ bảo mật). Ông thay thế Heydrich, người bị ám sát vào tháng 6 năm 1942. Kaltenbrunner giữ vị trí này cho đến khi kết thúc chiến tranh. Hầu như không ai biết Kaltenbrunner và sau khi được bổ nhiệm, Himmler đã chuyển trách nhiệm cho cả nhân viên và kinh tế SS từ RSHA sang Văn phòng Kinh tế và Hành chính Chính của SS. Tuy nhiên, ông được thăng chức thành SS-Obergruppenführer und General der Polizei vào ngày 21 tháng 6 năm 1943. Ông cũng thay thế Heydrich làm Chủ tịch Ủy ban Cảnh sát Hình sự Quốc tế (ICPC), tổ chức ngày nay gọi là Interpol.

Sợ một mặt trận nhà sụp đổ do các chiến dịch ném bom của quân Đồng minh và một "cú đâm sau lưng" khác ở nhà có thể phát sinh, khiến Kaltenbrunner ngay lập tức thắt chặt sự kìm kẹp của Đức Quốc xã ở Đức. Từ những gì nhà sử học Anthony Read liên quan, việc bổ nhiệm Kaltenbrunner làm giám đốc RSHA đã gây bất ngờ cho các ứng cử viên có thể khác như người đứng đầu Gestapo, Heinrich Müller, hoặc thậm chí là giám đốc tình báo nước ngoài SD, Walter Schellenberg. Nhà sử học Richard Grunberger cũng đã thêm tên của Tiến sĩ Wilhelm Stuckart, bộ trưởng tương lai của Nội vụ Đức với tư cách là một ứng cử viên tiềm năng khác cho người đứng đầu RSHA; tuy nhiên, anh ta gợi ý rằng Kaltenbrunner rất có thể được chọn vì anh ta là một "người mới" so sánh, người sẽ "dễ thương" hơn trong tay của Himmler.

Giống như nhiều người cuồng tín ý thức hệ trong chế độ, Kaltenbrunner là một người chống Do Thái. Theo cựu SS-Sturmbannführer Hans Georg Mayer, Kaltenbrunner đã có mặt trong một cuộc họp tháng 12 năm 1940 giữa Hitler, Goebbels, Himmler và Heydrich, nơi người ta quyết định tiêu diệt tất cả những người Do Thái không có khả năng làm việc nặng nhọc. Dưới sự chỉ huy của Kaltenbrunner, cuộc đàn áp người Do Thái đã tăng tốc vì "quá trình tiêu diệt đã được đẩy nhanh và sự tập trung của người Do Thái trong chính Reich và các quốc gia bị chiếm đóng sẽ đượ giải quyết càng sớm càng tốt." Kaltenbrunner rất quan tâm tình trạng của người Do Thái,nhận được báo cáo định kỳ tại văn phòng của ông trong RSHA.

Trong một nỗ lực để chống lại đồng tính luyến ái trên khắp Reich, Kaltenbrunner đã thúc đẩy Bộ Tư pháp vào tháng 7 năm 1943 một sắc lệnh bắt buộc phải thiến bắt buộc đối với bất kỳ ai phạm tội này. Trong khi điều này bị từ chối, ông vẫn thực hiện các bước để quân đội xem xét khoảng 6.000 trường hợp để truy tố những người đồng tính luyến ái

Vào mùa hè năm 1943, Kaltenbrunner đã tiến hành cuộc kiểm tra thứ hai của mình tại trại tập trung Mauthausen-Gusen. Trong khi ông ở đó, 15 tù nhân đã được chọn để chứng minh cho Kaltenbrunner ba phương pháp giết người; bằng cách bắn vào cổ, treo và khí. Sau khi các vụ giết người được thực hiện, Kaltenbrunner đã kiểm tra lò hỏa táng và sau đó là mỏ đá.Vào tháng 10 năm 1943, ông nói với Herbert Kappler, người đứng đầu các dịch vụ an ninh và cảnh sát Đức ở Rome, rằng "việc xóa bỏ người Do Thái ở Ý" là "mối quan tâm đặc biệt" đối với "an ninh chung". Bốn ngày sau, SS và các đơn vị cảnh sát của Kappl bắt đầu làm tròn và trục xuất người Do Thái bằng tàu hỏa đến trại tập trung Auschwitz.

Năm 1944 khi Hitler đang trong quá trình Đô đốc Horthy vũ trang mạnh mẽ để đệ trình Hungary cho Đức quốc xã trong một cuộc họp được sắp xếp tại Lâu đài Klessheim ở Salzburg, Kaltenbrunner đã có mặt để đàm phán và hộ tống ông ta sau khi họ kết thúc. Đồng hành cùng Horthy và Kaltenbrunner trên hành trình trở về Hungary là Adolf Eichmann, người đã mang theo một đơn vị Einsatzkommando đặc biệt để bắt đầu quá trình "làm tròn và trục xuất 750.000 người Do Thái ở Hungary."

Người ta nói rằng ngay cả Himmler cũng sợ anh ta, vì Kaltenbrunner là một nhân vật đáng sợ với chiều cao 1,94 mét (6 ft 4 in), vết sẹo trên khuôn mặt và tính khí thất thường. Kaltenbrunner cũng là một người bạn lâu năm của Otto Skorzeny và đề nghị anh ta cho nhiều nhiệm vụ bí mật, cho phép Skorzeny trở thành một trong những đặc vụ yêu thích của Hitler. Kaltenbrunner cũng chịu trách nhiệm đứng đầu Chiến dịch Long Jump, một kế hoạch ám sát Stalin, Churchill và Roosevelt ở Tehran.

Ngay sau âm mưu ngày 20 tháng 7 về cuộc sống của Hitler năm 1944, Kaltenbrunner đã được triệu tập đến trụ sở thời chiến của Hitler tại Wolfsschanze (Wolf's Lair) ở East Prussia để bắt đầu cuộc điều tra về kẻ chịu trách nhiệm ám sát. Một khi nó được tiết lộ rằng một cuộc đảo chính quân sự cố gắng chống lại Hitler đã được phát động, Himmler và Kaltenbrunner phải bước đi cẩn thận, vì quân đội không thuộc thẩm quyền của Gestapo hoặc SD. Vì nỗ lực thất bại, những kẻ âm mưu đã sớm được xác định. Ước tính 5.000 người cuối cùng đã bị xử tử, với nhiều người khác bị đưa đến các trại tập trung.

Kaltenbrunner (hàng đầu, thứ hai từ trái sang) với tư cách khán giả tại phiên tòa xét xử Tòa án Nhân dân sau âm mưu thất bại ngày 20 tháng 7.

Nhà sử học Heinz Höhne đã đếm Kaltenbrunner trong số những người trung thành với Hitler cuồng tín và mô tả ông ta đã cam kết "đến tận cùng cay đắng."] thủ tục tố tụng tại tòa án, nhưng điều này đã bị Himmler từ chối vì cho rằng việc can thiệp vào các vấn đề của Wehrmacht (quân đội) là không khôn ngoan. Vào tháng 12 năm 1944, Kaltenbrunner được cấp thêm cấp tướng của Waffen-SS. Vào ngày 15 tháng 11 năm 1944, ông được trao tặng Hiệp sĩ Thập tự giá Chiến tranh với Kiếm. Ngoài ra, anh còn được trao Huy hiệu Đảng vàng của NSDAP và Blutorden (Dòng máu). Sử dụng quyền lực của mình với tư cách là người đứng đầu RSHA, Kaltenbrunner đã ban hành một sắc lệnh vào ngày 6 tháng 2 năm 1945 cho phép cảnh sát bắn người "không trung thành" theo ý của họ, mà không cần xem xét lại tư pháp.

Vào ngày 12 tháng 3 năm 1945, một cuộc họp đã diễn ra tại Vorarlberg giữa Kaltenbrunner và Carl Jacob Burckhardt, chủ tịch Ủy ban Chữ thập đỏ Quốc tế (năm 194548). Chỉ hơn một tháng sau, Himmler được thông báo rằng SS-Obergruppenführer (nói chung) Karl Wolff đã đàm phán với quân Đồng minh về việc bắt giữ Ý. [40] Khi được hỏi bởi Himmler, Wolff giải thích rằng anh ta đang hoạt động theo lệnh của Hitler và cố gắng chơi Đồng minh chống lại nhau. Himmler tin anh ta nhưng Kaltenbrunner thì không và nói với Himmler rằng một người cung cấp thông tin tuyên bố Wolff cũng đã thương lượng với Hồng y Schuster của Milan và chuẩn bị đầu hàng Ý cho quân Đồng minh. Himmler giận dữ lặp lại các cáo buộc và Wolff, giả vờ phạm tội, thách thức Himmler trình bày những tuyên bố này cho Hitler. Không bị ảnh hưởng bởi yêu cầu của Wolff, Himmler lùi lại và Hitler đã gửi Wolff trở lại Ý để tìm kiếm các điều khoản tốt hơn với các lực lượng Hoa Kỳ.

Vào giữa tháng 4 năm 1945, ba tuần trước khi chiến tranh kết thúc, Himmlerbổ nhiệm tổng chỉ huy Kaltenbrunner của những lực lượng Đức còn lại ở Nam Âu.20 tháng 4 năm 1945, ông chạy trốn khỏi Berlin